ความสำเร็จทางการเงินทำให้ซิงเกอร์สามารถซื้อคฤหาสน์ที่ถนนฟิฟท์อเวนู ในปี พ.ศ. 2403 เขาหย่ากับภรรยาคนแรกในข้อหาการมีชู้และอยู่กินกับแมรี แอนน์ต่อไปจนกระทั่งเธอได้เห็นเขานั่งรถคู่มากับพนักงานบริษัทชื่อแมรี แมกโกนิกัลผู้ต้องสงสัยมานาน ซิงเกอร์มีบุตรกับแมรี แมกโกนัล 5 คน โดยใช้นามสกุลแมททิว แมรี แอนน์ ซึ่งยังเรียกตัวเองว่านางซิงเกอร์ได้แจ้งจับซิงเกอร์ในข้อหาทะเลาะวิวาท ซิงเกอร์ผู้ได้รับความอับอายได้รับการประกันตัวและหลบไปอยู่ลอนดอนพร้อมกับแมกโกนัล หลังจากนั้นก็เกิดการอย่าร้างของครอบครัว "ไอแซก" ขึ้นอีกครั้งหนึ่ง และได้แต่งงานใหม่อีกกับแมรี อีสท์วูดโดยใช้นามสกุลว่า "เมอร์ริต" ซิงเกอร์มีลูกทั้งหมดรวม 18 คนจากภรรยา 4 คน (ปัจจุบันลูก 18 คนยังมีชีวิตอยู่)

แมรี แอนน์พบกับไอแซกที่ลอนดอนได้ทำข้อตกลงเรียกร้องเรื่องทรัพย์สินโดยอ้างว่าแม้ไม้ได้จดทะเบียนถูกต้องแต่ก็ถือว่าถูกกฎหมายเนื่องจากได้อยู่กินด้วยกันเป็นเวลา 7 เดือนในระหว่างที่ไอแซกหย่าขาดจากแคทรีนภริยาคนแรกแล้วซึ่งเป็นที่ตกลงกันได้